面向 AI Agent 的记忆中心持续学习
🧭 Agent 记忆与持续学习
提出以记忆是否改进未来行动为核心的三轴分类、双循环生命周期与评测协议
📌 工作参考价值(4 点)
- 将记忆系统从“能检索到什么”转向“是否改善下游动作”,在推荐/广告 Agent 中可定义以最终转化/点击增益为记忆更新信号,而非仅记录历史会话
- 采用双循环生命周期:内层快速更新交互记忆(如用户偏好、上下文),外层以任务反馈(如 session 成功率)调整记忆写入、淘汰、检索策略,可类比在线学习中的 meta-policy
- 借鉴三轴分类(substrate/ asset/ policy)对现有 RAG、向量库、参数微调等记忆方案做架构审计,明确不同记忆的存储位置、资产形态与管理策略,避免混用
- 资源分配框架可用于决定非参数记忆(向量库)与参数记忆(LoRA 模块)的容量与读取预算配比:当总预算增长时,按最优路径扩增容量与读取资源,而非盲目加大 retrieval top-k 或模型参数
AI 智能体能否进行开放式科学发现:来自 Station 的证据
🧭 多智能体科学发现环境与探索机制
DualverseAI · University of Hong Kong · University of Cambridge
提出多智能体开放世界环境 Station,结合 Supervisor 与 Meta Reflection,使智能体在无明确指标下重新发现 ICLR 论文结论达 62.7%
📌 工作参考价值(4 点)
- 在缺乏明确 reward 的开放任务中(如新颖 query 生成、创意素材探索),可引入 Supervisor 角色定期评估当前方向,避免多智能体在无反馈下长时间漂移。
- 周期性 Meta Reflection 相当于对整体进展做“复盘”,把长期模糊目标分解为阶段性可验证子问题,适合推荐系统冷启动或长尾挖掘这类短期指标不佳但长期有价值的场景。
- 多智能体科学生态模拟的思路可迁移到用户行为沙盘或策略仿真中:让多个 agent 扮演不同角色(如搜索、浏览、购买)来暴露策略盲区。
- 将论文结论拆解为可独立验证的 criteria 的评估方法,可借鉴到业务中用 LLM 做开放式优化时,把模糊业务目标拆成可检验的假设清单并自动追踪覆盖率。
WhatWorkedBench:评测 AI Agent 实验理解能力
🧭 AI Agent 实验理解与自适应实验设计评测
Carnegie Mellon University · Tsinghua University
构建 WhatWorkedBench 基准,衡量 Agent 在预算内实验后预测组件组合效果的准确性
📌 工作参考价值(4 点)
- 在业务 Agent 做离线调参/工作流组合优化时,不要依赖完整网格搜索,可让 Agent 在预算内主动选择少量配置测量,再用 GP 或 pair-effect ridge 推断全配置响应面,直接降低实验成本。
- 静态分析代码等价性,把行为完全相同的配置合并成同一组,作为先验约束注入 GP;论文中该 trick 将小样本恢复从 0.248 提到 0.462,适合推荐/广告流程中大量冗余开关或等价组件组合。
- 多组件组合实验(如召回/粗排/精排策略开关)优先建模主效应 + 成对交互,用 pair-effect ridge 在少量新测量下选优并控制误差,避免全阶交互带来的样本需求爆炸。
- 内部评估 Agent 实验推断能力时,可借鉴该 benchmark 方式:用穷举离线结果构建数值控制记录,让 Agent 提交预测表,再对照完整参考效果算 recovery,而非只看最终推荐指标。
SAEScientist-Bench:AI智能体能否自主进行SAE可解释性研究
🧭 Agent 自主可解释性研究评估
The Key Laboratory of Cognitive Intelligence, Institute of Automation, CAS · School of Artificial Intelligence, University of Chinese Academy of Sciences
提出 SAEScientist-Bench 基准,评估 AI 智能体利用稀疏自编码器进行自主机制可解释性发现的能力,揭示其与专家水平的差距
📌 工作参考价值(4 点)
- 在 LLM 用于电商/广告文案生成或搜索推荐场景中,可借鉴 SAE 做特征级可控生成:提取概念特征(如价格敏感、品牌偏好、促销意图),通过 causal steering 干预输出,实现更细粒度的生成控制。
- 自动化特征挖掘流程值得迁移:参考本 benchmark 中 agent 设计 contrastive probes 的方法,对候选语义特征进行激活排名、选择性测试和因果扰动验证,可减少推荐系统中人工审核特征重要度的成本。
- 评估体系可直接复用:使用激活排名、概念选择性和因果 steering 三个维度评估特征与目标概念的相关性,适合用于模型审计、特征归因以及内容安全检测。
- 注意 agent 在实验测量解释上存在明显错误,实际落地时需加入人工校验或强约束规则,避免因误读实验数据导致错误结论。
Vero:AI Agent 能构建形式化验证的软件仓库吗
🧭 AI Agent 形式化验证代码生成基准
UC Berkeley · University of Chicago · California Institute of Technology · Stanford University · Amazon Web Services
首个仓库级实现与证明联合合成的形式化验证基准,当前最强 Agent 仅完全解决 27/43
📌 工作参考价值(4 点)
- 在电商/推荐系统的关键路径(如扣费、库存、ETL 数据一致性)中引入形式化验证 gate:为 API 接口编写 spec 和机器可检查证明,替代或补充单测,避免边界条件下的隐性 bug。
- 评估内部 AI coding agent 时,不要仅看测试通过率;可仿照 Vero 设计双模式评测:proof-only(只补证明)和 code-and-proof(实现+证明联合生成),衡量 agent 能否在多模块上下文中保持规范一致性。
- 采用 Vero 的审计机制:允许 agent 证明 spec 不可满足或参考实现错误,用于自动发现接口契约或参考代码中的隐含缺陷;迁移到业务中可对服务间契约建立形式化检查,提前暴露集成矛盾。
- 仓库级验证思维对微服务架构有参考意义:把跨服务数据流、状态迁移约束用 Lean 4 等语言形式化,不仅能保证单个模块正确,还能验证跨模块组合语义,适合交易链路等高可靠场景。
EMBL AI 图书馆员:面向 AI 代理的生命科学文献知识层
🧭 面向 AI 代理的文献检索 · 证据提取
EMBL Rome, European Molecular Biology Laboratory · European Bioinformatics Institute (EMBL-EBI) · Sapienza University of Rome · Uppsala University · Heidelberg University
将结构化文献搜索升级为自然语言证据检索层,大幅提升科学代理的问答、验证与综合性能
📌 工作参考价值(4 点)
- 领域知识层架构可迁移至电商导购 Agent:将核心思想——用 LLM 将自然语言问题分解为互补子查询,对接现有搜索引擎 API,并以“证据”而非整篇文档返回——直接用于构建商品知识检索层,为电商对话推荐 Agent 提供精准的商品属性、评价摘要或政策依据。
- 子查询规划与合并策略:借鉴其 LLM 动态生成多个子查询、去重并汇聚证据的方式,可用于复杂推荐解释或多条件检索场景,避免 Agent 硬编码搜索语法,提升召回覆盖率和信息密度。
- 评估方法启发:论文使用的 Citation F1 指标可用于推荐系统生成解释时的引用准确率评估,尤其适合需要引用原文(如用户评价)的场景,可设计类似的证据覆盖度与精确度指标。
- 实时检索与证据定位流水线:该工作结合了现有搜索引擎的实时检索与 LLM 的精读定位,方案轻量且无需重新索引,电商领域可直接套用此模式,将商品搜索 API 与 LLM 结合,为 Agent 提供“事实性回答”能力,降低幻觉风险。
LiSA:通过保守策略归纳实现终身安全适配
🧭 Agent ★ 深度解读
Google Cloud AI Research · Seoul National University · Google
在稀疏、嘈杂反馈下,通过结构化策略记忆与证据感知重用的保守归纳,持续改进AI护栏